🧠 Qwen3.8 MTP · 按源码拆解 先看权重组成，再跑主干、草稿、验证

📂 ① 权重组成 模型文件里就这 3 块

# 加载权重（这就是全部）
trunk = weights[0:64]   # 主干 64层（标准 Decoder Block）
mtp   = weights[64]     # MTP Head 1层（轻量 Decoder Block）
lm    = weights.lm_head # 共享 LM Head（词表映射）

# 后续所有流程都复用这三块，草稿和验证共用 trunk 和 lm。

⚙️ ② 主干推理（先跑 1 次） 产出隐藏状态 h，后续复用

# 主干推理（仅此一次）
def trunk_forward(context):
    h = embed(context)          # token -> embedding
    for layer in trunk:         # 循环 64 层
        h = layer(h)
    return h                    # 隐藏状态 h (seq, 4096)

# 在一个生成步中，只调用一次
h = trunk_forward(context)      # ← 这就是唯一的“重”计算
cache_h = h                     # 缓存起来，后续草稿用

⚡ ③ 草稿推理（循环 N 次） 只跑 MTP Head（1层）+ LM_Head，完全不碰主干

# 草稿推理（循环 N 次，默认 2~3）
def draft_loop(h, prev_token, num_drafts=2):
    drafts = []
    prev_emb = embed(prev_token)    # 上一 token 的 embedding
    for _ in range(num_drafts):
        # ★ 关键：这里只有 mtp（1层）和 lm，没有 trunk！
        h_mtp = forward(mtp, concat(h, prev_emb))  # 只过 1 层
        logits = lm(h_mtp)                         # 过共享 LM_Head
        token = sample(logits)                     # 采样
        drafts.append(token)
        prev_emb = embed(token)      # 下一轮用刚猜出的 token
        h = h_mtp                    # 下一轮用 MTP 的输出
    return drafts

# 使用缓存的 h 和最后一个真实 token
drafts = draft_loop(h, last_real_token, num_drafts=2)
# 得到 [草稿1, 草稿2]

✅ ④ 验证推理（再跑 1 次主干） 把上下文+草稿拼一起，一次性算真实分布

# 验证推理（再跑一次主干）
def verify(context_with_drafts):
    # 第二次调用 trunk（带 KV Cache，只算新位置）
    h_full = forward(trunk, context_with_drafts)  # 上下文+草稿一起过
    logits = lm(h_full)                           # 每个位置的真实分布
    return logits

# 拼装完整序列
full_context = context + drafts
verify_logits = verify(full_context)
# 得到 [位置1的真实分布, 位置2的真实分布, ...]

🎯 ⑤ 接受 / 拒绝 用真实分布修正草稿

def accept_reject(drafts, verify_logits):
    accepted = []
    for i, draft_token in enumerate(drafts):
        real_token = argmax(verify_logits[i])      # 真实分布的最大概率 token
        if draft_token == real_token:
            accepted.append(draft_token)           # 猜对了，收下
        else:
            accepted.append(real_token)            # 猜错了，用真实的替换
            break                                  # 遇到第一个错误就停
    return accepted

# 最终输出
final_tokens = accept_reject(drafts, verify_logits)

🔁 完整生成步总览 按源码顺序串起来

🧪 ⑦ 实测验证 下载真实 Qwen3.8-27B 权重核对

📊 关键物证（来自真实 GGUF）